from scrapy import cmdline
import os


postList = [
    "后端开发工程师","Java", "C/C++", "PHP", "Python", "C#", ".NET", "Golang", "Node.js", "语音/视频/图形开发",
    "GIS工程师", "区块链工程师", "全栈工程师", "其他后端开发",
    "前端开发工程师", "Android", "iOS", "U3D", "UE4", "Cocos", "技术美术", "JavaScript", "鸿蒙开发工程师",
    "测试工程师", "软件测试", "自动化测试", "功能测试", "测试开发", "硬件测试", "游戏测试", "渗透测试", "性能测试", "测试经理",
    "运维工程师", "IT技术支持", "网络工程师", "网络安全", "系统工程师", "运维开发工程师", "系统管理员", "DBA",
    "电脑/打印机维修", "系统运维", "技术文档工程师",
    "图像算法", "自然语言处理算法", "大模型算法", "数据挖掘", "规控算法", "SLAM算法", "推荐算法",
    "搜索算法", "语音算法", "风控算法", "算法研究员", "算法工程师", "机器学习", "深度学习",
    "自动驾驶系统工程师", "数据标注/AI训练师",
    "售前技术支持", "售后技术支持", "销售技术支持", "客户成功",
    "数据分析师", "数据开发", "数据库", "ETL工程师", "数据挖掘", "数据架构师", "爬虫工程师",
    "数据采集", "数据治理",
    "项目经理/主管", "项目助理", "项目专员", "实施工程师", "实施顾问", "需求分析工程师", "硬件项目经理",
    "技术经理", "架构师", "技术总监", "CTO/CIO", "技术合伙人", "运维总监",
    "产品经理", "产品专员/助理", "高级产品管理岗", "用户研究", "电商产品经理", "AI产品经理",
    "数据产品经理", "移动产品经理", "金融产品经理", "亚马逊产品开发", "化妆品产品经理", "硬件产品经理",
    "其他产品职位",
    "游戏策划", "系统策划", "游戏数值策划", "游戏制作人"
]
postLocation = ['101020100'] # 上海

# 设置环境变量
os.environ['globalPost'] = '大数据'
os.environ['globalCity'] = '100010000'


if __name__ == '__main__':
    for item in postList:
        # 设置环境变量
        os.environ['globalPost'] = '大数据' # 专业
        os.environ['globalCity'] = '101280100' # 上海  (上海 101020100、北京、广州 101280100、深圳)
        cmdline.execute("scrapy crawl boss --nolog".split())